Skip to content

Releases: houbb/sensitive-word

stopword all, and stop_zh

08 Jan 08:12
Compare
Choose a tag to compare

【stopword.txt】全量的 stop word
【stopword_zh.txt】仅仅包含中文的 stop word

Slim the dict

08 Jan 12:53
Compare
Choose a tag to compare

格式统一化

  1. 将所有的大写字母统一转换为小写

  2. 将所有的全角转换为半角

  3. 移除所有【空格】【符号】(这个就是各种符号的过滤了)

  4. 繁体字统一转换为简体字

最后保证信息的去重。

移除大量的信息

  1. 移除 QQ 号的类似数字

  2. 移除所有网址(.com、cn、.org)

  3. 移除纯英文

  4. 移除乱码

备份相关信息。